VOD BS 작업(r20 판)

1. 개요2. 작업 중 장애 트러블 슈팅

2.1. VOD 관련 작업 중 발생했던 장애

3. 작업 관련 프로세스4. VOD BS 작업 체크리스트

1. 개요 [편집]

VOD 서버 BS 작업 시 참고 할만한 체크리스트를 작성 하였다.

서버 부팅중 발생한 내용은 행업 트러블 슈팅 관련 문서 확인

현상 : VOD 서버 BS 작업 후 서비스 투입 직후 pause가 되는 현상
원인 : 서비스 투입 당시 LB[1]가 /var/log/castis/lb_log/에 기록되는 KSMS_Live 스크립트의 Error 로그를 탐지해 Hang-Up이라 판단해 pause 시킨다.
확인 및 조치 방법 :
1. Error 로그 확인
# find /var/log/castis/lb_log/ -mmin -10 -name "*_Load*" 2>/dev/null | xargs grep "Cannot Connect to Server for RefreshStorageUsage" | awk '{print $(NF-4)}' | cut -d, -f1
3. 아래와 같은 로그 확인 시 n분 뒤 다시 서비스 투입
Cannot Connect to Server for RefreshStorageUsage (ID …)

순서	체크 항목	명령어	기준 값	결과
사전	서버 공통 체크리스트 점검	서버 공통 체크 리스트	부팅전 상태 확인을 위한 점검
사전	서버 점검 스크립트	/usr/local/castis/Server_Check.sh 7 VOD	모든 항목이 이상없음 상태입니다. 문구 출력 시 정상.
부팅 후	시스템 로그 확인	tail -F /var/log/messages egrep -i "error\|fail" /var/log/messages	Error/Fail 로그 없을 시 정상
	서버 공통 체크리스트 점검	서버 공통 체크 리스트	부팅전 상태 확인을 위한 점검
	백업 환경 비교	diff [사전 백업 파일] [현재 상태]	부팅 전 백업한 파일과 상태가 동일할 시 정상
	VOD 로그 확인	tail -F EventLog[2026xxxx].log egrep -i "error\|fail\|no media\|reset"	Error/Fail 로그 지속 여부 및 reset 수치 비교 시 정상
	(LSM) LoadBalancer 로그	egrep -i "error\|fail" lb_log/*	Successfully New Setup Session 로그 지속 출력 시 정상
	(LSM) CiGLBServer 로그	grep xxx.xxx.xxx.xxx glb_log/*	LSM 서버에서 세션 SetUp 성공 로그가 지속적으로 출력 시 정상
	서버 점검 스크립트	/usr/local/castis/Server_Check.sh 7 VOD	모든 항목이 이상없음 상태입니다. 문구 출력 시 정상.

[1] LoadBalancer2